Jimmy Ba

概述 (50-200字符)

Jimmy Ba 是加拿大机器学习研究员，多伦多大学博士，以与 Diederik Kingma 共同提出 Adam 优化算法闻名。研究兴趣包括优化方法、归一化技术和大规模模型训练。

关键内容 (≥300字符, 用双链)

1. Adam 优化器：2014 年作为多伦多大学博士生，与Diederik P. Kingma共同提出Adam（自适应矩估计）优化算法。该算法结合了Momentum（动量）的一阶矩估计和RMSProp的二阶矩自适应学习率，并引入偏差修正解决初始化偏差问题。论文发表于 ICLR 2015，成为深度学习领域引用率最高的论文之一。
2. Layer Normalization：Ba 也是 Layer Normalization 的共同提出者（Ba, Kiros, & Hinton, 2016），解决了 Batch Normalization 在 RNN 和小 batch 场景下的局限。LayerNorm 成为 Transformer 架构的标准组件。
3. 学术背景：师从Geoffrey E. Hinton于多伦多大学，研究方向涵盖深度优化、归一化方法和神经网络理论。其工作对现代深度学习训练基础设施有基础性贡献。

来源

• [Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. ICLR 2015.] — Adam 论文
• [raw/articles/ai-papers/machine-learning/11_adam_2014.md] — 源文件

相关

• Diederik P. Kingma — co_author
• Adam: A Method for Stochastic Optimization (2014 论文) — co_authored
• Adam（自适应矩估计） — co_invented
• Layer Normalization — co_invented
• Geoffrey E. Hinton — advisor